聯(lián)系我們
導(dǎo)讀：對于百度搜索引擎來說，蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多，及內(nèi)容雷同但具體參數(shù)不同的動態(tài)URL ，就像一個(gè)無限循環(huán)的“黑洞”將spider困住，Baiduspider浪費(fèi)了大
發(fā)表日期：2019-06-05
文章編輯：興田科技
瀏覽次數(shù)：12947
標(biāo)簽：
對于百度搜索引擎來說，蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多，及內(nèi)容雷同但具體參數(shù)不同的動態(tài)URL ，就像一個(gè)無限循環(huán)的“黑洞”將spider困住，Baiduspider浪費(fèi)了大量資源抓取的卻是無效網(wǎng)頁。
比如很多網(wǎng)站都有篩選功能，通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取，而這其中很大一部分檢索價(jià)值不高，如“500-1000之間價(jià)格的租房”，首先網(wǎng)站（包括現(xiàn)實(shí)中）上基本沒有相關(guān)資源，其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習(xí)慣。這種網(wǎng)頁被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額。那么該如何避免這種情況呢？
我們以北京某團(tuán)購網(wǎng)站為例，看看該網(wǎng)站是如何利用robots巧妙避免這種蜘蛛黑洞的：
對于普通的篩選結(jié)果頁，該網(wǎng)站選擇使用靜態(tài)鏈接，如：http://bj.XXXXX.com/category/zizhucan/weigongcun
同樣是條件篩選結(jié)果頁，當(dāng)用戶選擇不同排序條件后，會生成帶有不同參數(shù)的動態(tài)鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數(shù)也都是不同的。如：http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
對于該團(tuán)購網(wǎng)來說，只讓搜索引擎抓取篩選結(jié)果頁就可以了，而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。
robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。該網(wǎng)站恰是通過這種方式，對Baiduspider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面，為Baiduspider提供了更友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。
上一篇：
暫無信息更多新聞
2023
一個(gè)良好的網(wǎng)站設(shè)計(jì)和結(jié)構(gòu)可以提高您在搜索引擎結(jié)果頁面上的排名。通過使用適當(dāng)?shù)年P(guān)鍵詞和優(yōu)化技術(shù)，您的網(wǎng)站將在搜索引擎中更容易被發(fā)現(xiàn)。這將帶來更多的有機(jī)流量和潛在客戶，從而增加您的業(yè)務(wù)增長。
View details
2020
關(guān)于網(wǎng)站建設(shè)，科技是第一生產(chǎn)力，信息時(shí)代是技術(shù)的時(shí)代。誰主導(dǎo)了技術(shù)，誰就主導(dǎo)著未來社會的發(fā)展。到這里，應(yīng)該說這些結(jié)論都有道理。但由于信息技術(shù)的代表
View details
2020
關(guān)于網(wǎng)站建設(shè)，一個(gè)與企業(yè)名稱和形象相符的域名，是企業(yè)進(jìn)行網(wǎng)絡(luò)營銷的前提。由于域名具有惟一性，一個(gè)域名一旦注冊成功，任何其他機(jī)構(gòu)都無法注冊相同的域名
View details
2020
關(guān)于網(wǎng)站建設(shè)，很多中小企業(yè)已經(jīng)意識到建設(shè)網(wǎng)站對企業(yè)推廣的重要性，少部分企業(yè)進(jìn)行了相關(guān)的優(yōu)化，讓企業(yè)的產(chǎn)品或者能夠提供的服務(wù)在搜索引擎上得到較好的
View details
